Khi Đảng Cộng sản Trung Quốc thành lập năm 1921, chức vụ lãnh đạo Đảng được thành lập với tên gọi Bí thư Bộ Trung ương, do Trần Độc Tú đảm nhiệm. Không lâu sau, chức danh này được đổi thành Ủy viên trưởng Ban Chấp hành Trung ương, vẫn do Trần Độc Tú đảm nhiệm.

Chức vụ Tổng Bí thư Ủy ban Trung ương được thành lập năm 1925 tại Đại hội Đại biểu toàn quốc khóa IV, giữ vai trò lãnh đạo cao nhất của Đảng. Năm 1928, Hướng Trung Phát được bầu làm Tổng Bí thư, kiêm nhiệm chức vụ Chủ tịch Bộ Chính trị Trung ương Đảng mới thành lập. Từ năm 1930 đến 1945, chức vụ Tổng Bí thư chỉ còn giữ vai trò lãnh đạo tối cao trên danh nghĩa, trên thực tế, vai trò lãnh đạo tối cao thuộc về một số Ủy viên Thường vụ Bộ Chính trị như Lý Lập Tam (1930), Vương Minh (1931). Bấy giờ, vai trò Tổng Bí thư chỉ có quyền triệu tập và chủ trì hội nghị Ủy ban Thường vụ Cục Chính trị, hội nghị Bộ Chính trị, song quyết định chung tối cao tại hội nghị do đa số Ủy viên thông qua. Sau khi Hướng Trung Phát qua đời, chức vụ Tổng Bí thư bị khuyết, vai trò lãnh đạo Đảng do Bác Cổ nắm giữ từ 1931 đến 1934. Mãi đến kỳ họp thứ năm của Hội Ủy viên Trung ương khóa VI, Bác Cổ mới được bầu chính thức giữ chức vụ Tổng Bí thư. Tại Hội nghị Tuân Nghĩa, Bác Cổ bị phê bình và bị bãi nhiệm, Trương Văn Thiên được bầu vào chức vụ Tổng Bí thư. Tuy nhiên, quyền lãnh đạo thực tế thuộc về Ủy viên Thường vụ Bộ Chính trị Mao Trạch Đông (từ 1943 là Chủ tịch Bộ Chính trị). Chức vụ Tổng Bí thư chỉ còn vai trò là một Bí thư bình thường trong Ban Bí thư Trung ương (cải tổ từ Ủy ban Thường vụ Bộ Chính trị năm 1934), bó hẹp trong lĩnh vực nghiên cứu lý luận, không có thực quyền.

Năm 1945, tại Đại hội Đại biểu toàn quốc khóa VII, vai trò lãnh đạo tối cao trong Đảng được xác lập bởi chức vụ Chủ tịch Ủy ban Trung ương, gọi tắt là Chủ tịch Đảng. Chức vụ Tổng Bí thư bị thay bằng chức vụ Chủ tịch Bộ Chính trị kiêm Chủ tịch Ban Bí thư Trung ương do Mao Trạch Đông kiêm nhiệm.

Từ năm 1949 khi nước Cộng hòa Nhân dân Trung Hoa được thành lập, dưới hệ thống chính trị "chế độ hiệp thương chính trị và hợp tác đa đảng do Đảng Cộng sản Trung Quốc lãnh đạo", Đảng Cộng sản Trung Quốc thực tế chịu trách nhiệm lãnh đạo Nhà nước, vì thế chức vụ lãnh đạo Đảng tương đương hoặc ở cấp cao hơn chức vụ lãnh đạo Nhà nước. Vì thế, Mao Trạch Đông, với các chức vụ Chủ tịch Ủy ban Trung ương, Chủ tịch Ban Bí thư Trung ương, Chủ tịch Ủy ban Thường vụ Hội nghị Hiệp thương Chính trị Nhân dân Trung Quốc, Chủ tịch Chính phủ Nhân dân Trung ương, Chủ tịch Ủy ban Quân sự Cách mạng Nhân dân, trên thực tế trở thành lãnh đạo tối cao với quyền lực tuyệt đối của chính trị, quân sự và hành chính của nước Cộng hòa Nhân dân Trung Hoa.

Năm 1982, Điều lệ Đảng được sửa đổi, xóa bỏ chức vụ Chủ tịch Đảng và Phó Chủ tịch Đảng, chức vụ Tổng Bí thư Ủy ban Trung ương được tái lập và trở lại là chức vụ cao nhất của Đảng.

Mặc dù về danh nghĩa, từ năm 1979 đến năm 1989, các đời Tổng Bí thư Hồ Diệu Bang, Triệu Tử Dương là lãnh đạo tối cao, nhưng trên thực tế, thực quyền lãnh đạo tối cao thuộc về Chủ tịch Ủy ban Quân sự Trung ương Đặng Tiểu Bình. Tình trạng này tiếp diễn kéo dài đến năm 2004, khi Chủ tịch Quân ủy Trung ương Giang Trạch Dân trao lại quyền lực cho Hồ Cẩm Đào, chính thức hợp nhất vai trò Tổng Bí thư kiêm nhiệm Chủ tịch Quân ủy Trung ương.

Bên cạnh đó, theo Hiến pháp, Tổng Bí thư không có quyền lực về mặt Nhà nước. Mặc dù vậy, do Trung Quốc là nhà nước độc đảng lãnh đạo, nên từ năm 1993, Tổng Bí thư Giang Trạch Dân được bầu kiêm nhiệm chức vụ Chủ tịch nước, giữ vai trò nguyên thủ quốc gia, có quyền lực hơn cả Thủ tướng. Từ đó, theo thông lệ, Tổng Bí thư sẽ được bầu làm Chủ tịch nước, ngay trong kỳ họp Đại hội Đại biểu Nhân dân toàn quốc gần nhất.